###本方法使用爬虫爬取ip3366上的免费代理IP，供后面的对GPS网站爬取使用，爬取得IP存放在ip_proxy.txt中
# import threadpool
import urllib.request
import requests
import time
from bs4 import BeautifulSoup
#ip3366只有一个table，可以直接提取
def page_analysis():#爬取网页中的动态IP列表
    for i in range(1,7):
        url='http://www.ip3366.net/free/?stype=1&page='+str(i)
        response = requests.get(url)
        response.encoding = response.apparent_encoding  # str类型,获得网页编码类型
        context = response.content.decode(response.encoding)
        soup=BeautifulSoup(context,'lxml')
        tr_list_all=[]
        td_list_ip=[]
        tr_list_all=soup.table.tbody.find_all(name="tr")

        with open("ip_proxy.txt", 'a') as f:
            for tr in tr_list_all:
                td_list_ip.append(tr.find(name="td").string)
                ip=str(tr.find(name="td").string)+"\n"
                f.write(ip)
        print(td_list_ip)
        time.sleep(4)

def dynamic_ip_use():  #读取使用代理IP
    with open('ip_proxy.txt') as f :
        ip_list=[]
        # for ip in f.readlines():
        #     ip_list.append(ip.split("\n"))
        ip_list=f.readlines()#这里多了一个\n，在后面更换的时候注意去掉
        for ip in ip_list:
            print(ip)
        # print(ip_list)

if __name__=='__main__':
    # page_analysis()
    dynamic_ip_use()